평균으로의 회귀

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 역사
- 2.1. 프랜시스 골턴의 연구
- 2.2. 용어의 변화
3. 개념적 예시
4. 중요성 및 오해
5. 수학적 설명
- 5.1. 데이터 점의 단순 선형 회귀
- 5.2. 동일 주변 분포를 갖는 이변량 분포
6. 한국 사회에의 적용
참조

1. 개요

평균으로의 회귀는 19세기 후반 프랜시스 골턴이 유전학 연구에서 처음 발견한 개념으로, 부모의 극단적인 특징이 자녀에게 완전히 전달되지 않고 평균으로 회귀하는 경향을 의미한다. 이는 종자 무게 연구와 아버지와 아들의 키 비교 연구를 통해 정량화되었으며, 상관관계와 회귀 계수 등의 용어를 통해 설명된다. 평균으로의 회귀는 학생 시험, 스포츠 팀, 기업 성과 등 다양한 분야에서 나타나며, 특히 시험 점수나 스포츠 성적에서 극단적인 결과가 다음 시점에는 평균에 가까워지는 경향을 보인다. 이러한 현상은 실험 계획 및 데이터 해석에 중요한 고려 사항이며, 회귀 오류와 같은 오해를 야기할 수 있다. 금융 분야에서는 주가 수익률과 같은 시계열 데이터의 장기적 안정성을 설명하는 데 활용되기도 한다.

더 읽어볼만한 페이지

통계 법칙 - 벤포드의 법칙
벤포드의 법칙은 숫자 집합의 첫 번째 자릿수 빈도가 특정 확률 분포를 따른다는 경험적 법칙으로, 자연 데이터에서 작은 숫자가 더 자주 나타나는 경향을 설명하며 회계 부정 탐지 등에 활용된다.
통계 법칙 - 파레토 법칙
파레토 법칙은 소수의 원인이 대부분의 결과에 영향을 미친다는 경험적 법칙으로, 80/20 법칙으로 알려져 있으며, 다양한 분야에서 활용되지만, 단순화 및 인과관계 설명 부족 등의 비판도 존재한다.
회귀분석 - 회귀 분석
회귀 분석은 종속 변수와 하나 이상의 독립 변수 간의 관계를 모델링하고 분석하는 통계적 기법으로, 최소 제곱법 개발 이후 골턴의 연구로 '회귀' 용어가 도입되어 다양한 분야에서 예측 및 인과 관계 분석에 활용된다.
회귀분석 - 로지스틱 회귀
로지스틱 회귀는 범주형 종속 변수를 다루는 회귀 분석 기법으로, 특히 이항 종속 변수에 널리 사용되며, 오즈에 로짓 변환을 적용하여 결과값이 0과 1 사이의 값을 가지도록 하는 일반화 선형 모형의 특수한 경우이다.

평균으로의 회귀
통계적 회귀
정의	극단적인 값에서 평균으로 이동하는 경향을 보이는 통계적 현상.
설명	변수가 극단적인 값을 보일 때, 다음 측정에서는 평균에 가까워지는 경향. 극단적인 값은 무작위 요인으로 발생할 수 있으며, 그 영향이 다음 측정에서 감소하여 평균에 가까워짐.
예시	키가 매우 큰 부모의 자녀는 부모보다 키가 작아지는 경향, 반대로 키가 매우 작은 부모의 자녀는 부모보다 키가 커지는 경향. 시험에서 매우 높은 점수를 받은 학생은 다음 시험에서 평균에 가까운 점수를 받을 가능성이 높고, 매우 낮은 점수를 받은 학생은 다음 시험에서 평균에 가까운 점수를 받을 가능성이 높음.
주의사항	회귀 현상은 인과관계가 아닌 통계적 경향성을 나타냄. 평균 회귀 현상을 인과관계로 오해하는 오류를 범하지 않도록 주의해야 함.
역사	프랜시스 골턴에 의해 처음으로 개념화되고 명명됨. 골턴은 유전 현상을 연구하는 과정에서 이 현상을 발견함.
오해	평균으로의 회귀는 측정의 오류나 결함으로 인해 발생하는 것이 아니라 자연스러운 통계적 현상임. 측정 대상의 진정한 변화가 아닌, 극단값의 무작위적 변동성이 감소하는 것으로 봐야 함.
활용	통계 분석 및 연구에서 중요한 개념으로 작용함. 특히 시간 경과에 따른 변화를 연구하는 종단 연구에서 주의해야 할 사항임. 임상 시험 등에서 치료 효과를 평가할 때 주의해야 함.
관련 개념	평균 회귀 (재정): 재정적 맥락에서 평균으로 되돌아가는 가격 경향.
추가 정보
참고 자료	Regression toward the mean, historically considered Assessing the Relationship between the Baseline Value of a Continuous Variable and Subsequent Change Over Time.
관련 서적
통계 사전	The Cambridge Dictionary of Statistics Oxford Dictionary of Statistics

2. 역사

평균으로의 회귀라는 개념은 19세기 후반 영국의 통계학자 프랜시스 골턴에 의해 처음 발견되었다. 그는 원래 생물학적 데이터를 연구하던 중 이 현상을 포착했는데, 1877년 발표한 스위트피 종자의 무게에 관한 연구가 그 시작이었다.^[24] 골턴은 부모 세대의 종자 무게와 자손 세대의 종자 무게를 비교하면서, 부모 세대의 특성이 평균보다 크거나 작더라도 자손 세대는 전체 평균에 더 가까워지는 경향이 있음을 통계적으로 확인했다.

처음 골턴은 이 현상을 생물학적인 '복귀' 현상으로 이해했으나, 추가 연구를 통해 이것이 생물학적 특성이라기보다는 데이터 처리 과정에서 나타나는 보편적인 통계적 효과임을 깨닫고 '회귀'^[25]라는 용어를 사용하기 시작했다. 이후 그는 인간에게도 연구를 확장하여, 부모와 자녀의 키^[26]나 여러 분야 천재들의 자녀 등 다양한 사례에서 평균으로 회귀하는 경향이 나타남을 밝혔다. 이는 평균으로의 회귀가 특정 분야에 국한되지 않고 다양한 데이터에서 관찰될 수 있는 일반적인 통계 원리임을 보여준다.

2. 1. 프랜시스 골턴의 연구

평균으로의 회귀 개념은 원래 생물학 데이터에서 발견된 현상으로, 프랜시스 골턴이 1877년에 발표한 스위트피 종자의 무게에 관한 연구가 그 시초이다. 골턴은 7종류의 스위트피 종자(종자의 무게는 종류별로 다르지만, 같은 종류 내에서는 동일하게 함)를 재배하여 비교한 결과 다음과 같은 사실을 발견했다.

# 자손 세대의 종자 무게는 부모 세대와 마찬가지로 정규 분포를 따른다. 또한, 자손 종자의 평균 직경을 부모의 평균 직경에 대해 그래프로 그리면 직선에 가까운 관계가 나타나는데, 이는 현재의 선형 회귀 분석과 유사한 개념이다.

# 그러나 자손 세대의 평균 직경은 부모 세대의 직경과 비교했을 때, 전체 평균 직경에 더 가까워지는 경향이 있다. 골턴은 이를 '회귀'라고 명명했다.

골턴은 처음에 이 직선의 기울기를 '복귀 계수'(coefficient of reversion)^[24]라고 불렀다. 그는 이것이 조상에게서 나타난 형질로 돌아가려는 생물학적 현상이라고 생각했다. 하지만 이후 연구를 통해 이 효과가 생물학적 특성 때문이 아니라 데이터를 통계적으로 처리하는 과정에서 나타나는 현상임을 깨닫고, 용어를 '회귀 계수'(regression coefficient)^[25]로 변경했다.

이 결과는 "유리한 형질을 가진 개체가 생존하여 자손을 남기고, 세대를 거듭할수록 그 형질은 더욱 뚜렷해진다"는 당시 진화에 대한 일반적인 생각과 모순되는 것처럼 보여 주목받았다. 그러나 실제로는 이 스위트피 종자의 크기 변화에 유전적인 요인보다 우연적인 변동이 더 큰 영향을 미쳤던 것으로 밝혀졌다. 골턴은 연구를 계속하여 1888년에는 두 변수 간의 관련성을 설명하기 위해 '상관'(correlation)^[26]이라는 단어를 사용했고, 이를 나타내는 상수인 상관 계수에 r이라는 기호를 붙였다.

골턴은 이러한 연구 결과를 인간에게도 적용했다. 예를 들어, 여러 분야의 천재들을 조사한 결과 그들의 자녀는 대부분 부모보다 평균적인 능력에 더 가까워지는 경향을 보였다. 더욱 정량적이고 객관적인 방법으로 아버지와 아들의 키를 비교했을 때도 비슷한 결과가 나타났다. 즉, 키가 특별히 큰 아버지의 아들이나 키가 특별히 작은 아버지의 아들 모두, 그들의 키는 아버지 세대의 키보다 평균 키에 더 가까워지는 경향이 관찰되었다.

평균으로의 회귀는 생물학이나 유전과 직접적인 관련이 없는 경우에도 나타나는 보편적인 통계적 현상이다. 심지어 시간의 흐름을 거꾸로 적용해도 마찬가지이다. 예를 들어, 키가 특별히 큰 아들들의 아버지를 살펴보면, 그 아버지들의 키 역시 아들들의 키보다는 평균 키에 더 가깝다. 중요한 점은 아버지 세대와 아들 세대 전체의 키 분포는 동일하게 유지된다는 것이다.

2. 2. 용어의 변화

프랜시스 골턴은 1877년 스위트피 종자 무게에 관한 연구 결과를 발표하면서 처음으로 이 현상을 기술했다.^[24] 그는 7종류의 스위트피 종자를 재배하여 비교한 결과, 자손 세대의 종자 무게는 부모 세대와 마찬가지로 정규 분포를 따르며, 자손 종자의 평균 직경을 부모의 평균 직경에 대해 플롯하면 직선에 가까운 관계(현재의 선형 회귀 분석 적용 가능)가 있음을 발견했다. 그러나 동시에 자손의 평균 직경은 부모의 직경보다 전체 평균 직경에 더 가까워지는 경향, 즉 평균으로 돌아가려는 경향이 있음을 확인했다.

골턴은 처음에 이 직선의 기울기를 생물학적 현상으로 간주하여 "coefficient of reversion|복귀 계수^eng"라고 불렀다.^[24] 그러나 이후 연구를 통해 이 효과가 생물학적인 특성 때문이 아니라 데이터 처리 과정에서 나타나는 통계적 현상임을 깨닫고, 용어를 "coefficient of regression|회귀 계수^eng"로 변경했다.^[25] 이 발견은 "유리한 형질을 가진 개체가 생존하여 자손을 남기고, 세대를 거듭할수록 그 형질이 더욱 뚜렷해진다"는 당시의 진화에 대한 일반적인 생각과 달라 보였기 때문에 주목받았다. 실제로는 스위트피 종자의 크기 변화가 유전적 요인보다는 우연에 의한 변동의 영향이 더 컸기 때문에 나타난 현상이었다.

골턴은 연구를 계속하여 1888년에는 이러한 관계를 설명하기 위해 '상관(correlation)'^[26]이라는 용어를 도입했고, 이를 나타내는 상수인 상관 계수에

r

이라는 기호를 사용했다. 그는 이러한 연구를 인간에게도 적용하여, 아버지와 아들의 키를 비교하는 연구를 통해 키가 매우 크거나 작은 아버지의 아들들 역시 아버지 세대보다는 평균 키에 더 가까워지는 경향이 있음을 확인했다.

3. 개념적 예시

특이하게 학업 성적이 우수한 부모에게서 태어난 아이는, 부모의 성적과 비교하여 학업 성적이 평균에 더 가까워질 가능성이 높다. 이는 아이가 부모의 우수한 유전 형질을 물려받아 평균보다 성적이 좋을 가능성과는 별개로 나타나는 통계적 현상이다.

평균으로의 회귀는 생물학이나 유전과 직접적인 관련이 없는 상황에서도 발생하는 보편적인 통계적 현상이다. 예를 들어, 특별히 키가 큰 사람들의 아버지 세대 키를 조사해 보면, 아들 세대의 키보다는 평균 키에 더 가까운 경향을 보인다. 이러한 현상은 시간의 흐름을 거꾸로 적용해도 마찬가지로 관찰될 수 있으며, 전체 인구의 키 분포는 아버지 세대와 아들 세대 간에 동일하게 유지된다.

3. 1. 학생 시험

100문항의 객관식(참/거짓) 시험을 치르는 학생들을 생각해 보자. 모든 학생이 모든 문제에 무작위로 답한다고 가정하면, 각 학생의 점수는 기댓값이 50인 독립적으로 동일하게 분포된 확률 변수 집합 중 하나의 실현값이 될 것이다. 당연히 어떤 학생들은 우연히 50점보다 상당히 높은 점수를 받고, 어떤 학생들은 50점보다 상당히 낮은 점수를 받을 것이다. 만약 상위 10%의 학생들만 선발하여 다시 모든 문항에 무작위로 답하는 두 번째 시험을 치르게 한다면, 이들의 평균 점수는 다시 50점에 가까워질 것으로 예상된다. 따라서 이 학생들의 평균은 원래 시험을 치른 모든 학생들의 평균으로 "회귀"할 것이다. 학생이 첫 시험에서 어떤 점수를 받았든, 두 번째 시험 점수를 가장 잘 예측하는 값은 50이다.

만약 시험 문제에 대한 답 선택이 무작위가 아니고, 운(좋거나 나쁜)이나 추측이 전혀 없다면, 모든 학생은 두 번째 시험에서도 같은 점수를 받을 것이며 평균으로의 회귀는 일어나지 않을 것이다.

대부분의 현실적인 상황은 이 두 극단 사이에 있다. 예를 들어, 시험 점수를 기술과 운의 조합으로 생각할 수 있다. 이 경우, 평균 이상 점수를 받은 학생들은 기술이 있고 특별히 불운하지 않았던 학생들과, 기술은 없지만 매우 운이 좋았던 학생들로 구성될 것이다. 이 학생들을 대상으로 재시험을 치르면, 기술이 없는 학생들은 이전의 행운을 반복하기 어려울 것이고, 기술이 있는 학생들도 불운을 겪을 수 있다. 따라서 첫 시험에서 좋은 성적을 거둔 학생들이 두 번째 시험에서도 반드시 그만큼 좋은 성적을 거두리라는 보장은 적다.

예를 들어, 학생들이 이틀 연속으로 같은 시험의 두 가지 버전을 치른다고 가정해 보자. 첫째 날 성적이 가장 나빴던 학생들은 둘째 날 점수가 향상되는 경향이 있고, 첫째 날 성적이 가장 좋았던 학생들은 둘째 날 점수가 하락하는 경향이 자주 관찰된다. 이 현상은 학생들의 점수가 부분적으로는 기본적인 능력, 부분적으로는 우연에 의해 결정되기 때문에 발생한다. 첫 번째 시험에서 어떤 학생들은 운이 좋아 능력보다 높은 점수를 받고, 어떤 학생들은 운이 나빠 능력보다 낮은 점수를 받는다. 첫 시험에서 운이 좋았던 학생 중 일부는 두 번째 시험에서도 운이 좋을 수 있지만, 더 많은 학생은 평균 또는 그 이하의 점수를 받을 가능성이 크다. 따라서 첫 시험에서 운이 좋아 능력 이상의 점수를 받은 학생은 두 번째 시험에서 점수가 낮아질 가능성이 더 높다. 마찬가지로, 첫 시험에서 운이 나빠 능력 이하의 점수를 받은 학생들은 두 번째 시험에서 점수가 오르는 경향이 있을 것이다. 극단적인 결과를 만드는 데 운의 영향이 클수록, 여러 번의 시도에서 그 운이 반복될 가능성은 줄어든다.

다른 예로, 학생들이 중간고사와 기말고사를 볼 때, 중간고사에서 특별히 높은 점수를 받은 학생들은 기말고사에서도 높은 점수를 받을 수 있지만, 일반적으로 중간고사 때보다는 평균 점수에 더 가까운 점수를 받게 된다. 이는 중간고사에 작용했던 '행운'(우연)이 기말고사에서는 그대로 작용하지 않기 때문이다. 반대로 기말고사에서 고득점을 한 학생들의 중간고사 성적을 살펴보아도, 기말고사 성적보다는 평균에 가까운 경향이 있다. 낮은 점수를 받은 학생들에게서도 비슷한 경향이 나타난다.

3. 2. 스포츠 팀과 기업 성과

전년도에 특정 스포츠 팀이 우승했을 때, 다음 시즌에도 우승할 가능성은 단순히 실력만으로 결정되지 않는다. 만약 우승이 팀의 뛰어난 실력(좋은 선수 구성, 유능한 감독 등) 덕분이라면 다음 시즌에도 좋은 성적을 거둘 가능성이 높다. 하지만 우승에 운(경쟁 팀의 예상치 못한 문제 발생, 유리한 대진운, 신인 선수의 기대 이상의 활약 등)이 크게 작용했다면, 다음 시즌에는 평균적인 성적으로 돌아갈 가능성이 커진다.^[6]

기업의 성과 역시 마찬가지다. 특별한 기초 여건의 변화 없이 어느 분기에 매우 높은 수익을 기록한 기업은 다음 분기에 실적이 상대적으로 저조해질 가능성이 있다.^[7]

야구 선수들 사이에서도 비슷한 현상이 관찰된다. 신인 시즌에 뛰어난 성적을 거둔 선수가 다음 해에는 부진한 성적을 보이는 경우가 있는데, 이를 '신인 부진'이라고 부른다. 또한, '스포츠 일러스트레이티드 표지의 저주' 역시 평균으로의 회귀로 설명될 수 있다. 뛰어난 활약으로 '''스포츠 일러스트레이티드''' 잡지 표지에 등장한 선수는 이후 성적이 이전보다 평범해지는 경향이 있는데, 이 때문에 표지에 실리는 것이 선수 기량 저하의 원인인 것처럼 보이기도 한다.^[8]

3. 3. 스포츠 일러스트레이티드 표지의 저주

평균으로의 회귀 현상은 스포츠계의 속설인 스포츠 일러스트레이티드 표지의 저주를 설명하는 데 사용될 수 있다. 이 속설은 유명 스포츠 잡지인 스포츠 일러스트레이티드 표지에 등장한 선수는 이후 성적이 떨어지는 경향이 있다는 내용이다. 이는 매우 뛰어난 성과를 보여 표지에 실릴 정도의 선수는 통계적으로 다음 시즌에는 그보다 다소 평범한 성적, 즉 자신의 평균적인 기량으로 돌아갈 가능성이 높기 때문에 발생하는 현상으로 해석할 수 있다. 표지에 실리는 것 자체가 선수 기량 저하의 직접적인 원인이 아니라, 이미 최고점을 찍은 선수가 이후 평균 수준으로 회귀하는 자연스러운 과정이라는 것이다.^[8]

이는 야구 선수들이 신인 시즌에 좋은 성적을 거두면 두 번째 시즌에는 성적이 나빠질 가능성이 높은 신인 부진 현상과 유사한 맥락에서 이해할 수 있다.^[8]

4. 중요성 및 오해

평균으로의 회귀는 통계적 현상으로, 특히 실험 계획 및 데이터 해석에서 중요한 개념이다. 어떤 사건이나 측정에서 극단적인 결과가 관찰되었을 때, 다음번 측정에서는 그 결과가 평균값에 더 가까워지는 경향을 보이는 것을 말한다. 이는 무작위적 변동이나 측정 오차 때문에 발생하는 자연스러운 통계적 경향이며, 반드시 어떤 특별한 원인이나 인과관계가 작용한 결과는 아니다.

그러나 이 현상을 제대로 이해하지 못하면 회귀 오류를 범하기 쉽다. 회귀 오류는 평균으로의 회귀라는 통계적 효과를 실제 인과관계나 특정 조치의 효과로 잘못 해석하는 것을 의미한다. 예를 들어, 성적이 매우 낮았던 학생이 다음 시험에서 점수가 오르거나, 사고가 유난히 잦았던 지역에서 다음 해 사고 건수가 줄어드는 것은 평균으로의 회귀 때문일 수 있는데, 이를 특정 교육 방법의 성공이나 안전 정책의 효과만으로 단정 짓는 것은 오류일 수 있다. 이러한 오해는 교육, 스포츠, 비즈니스, 정책 평가 등 다양한 분야에서 잘못된 판단으로 이어질 수 있으므로 주의가 필요하다.

4. 1. 실험 계획에서의 중요성

평균으로의 회귀는 실험 계획에서 중요한 고려 사항이다.

예를 들어, 1,000명의 비슷한 연령대 사람들을 대상으로 심장마비 위험도를 검사하고 점수를 매겼다고 가정해 보자. 이 검사 결과를 바탕으로 가장 위험하다고 평가된 50명에게 식단 조절, 운동, 약물 치료 등의 중재를 시행하고 그 효과를 측정하려 할 수 있다. 그러나 설령 중재가 아무런 효과가 없더라도, 평균으로의 회귀 현상 때문에 이 50명은 다음 검사에서 상태가 호전된 것처럼 보일 가능성이 높다. 처음 검사에서 극단적으로 높은 위험 점수를 받은 것은 실제 위험도와 측정 오류가 결합된 결과일 수 있으며, 다음 검사에서는 측정 오류가 줄어들거나 다른 방향으로 작용하여 점수가 평균에 더 가깝게 나올 수 있기 때문이다.

이러한 통계적 효과로 인한 잘못된 결론을 피하기 위한 가장 좋은 방법은 대상 집단을 무작위로 두 그룹으로 나누는 것이다. 한 그룹(치료군)에는 중재를 시행하고, 다른 그룹(대조군)에는 아무런 중재를 하지 않는다. 이후 두 그룹의 결과를 비교하여, 치료군이 대조군보다 의미 있는 수준으로 더 개선되었을 경우에만 중재가 실제로 효과가 있었다고 판단할 수 있다.

다른 예로, 취약 계층 아동들을 대상으로 대학 진학 가능성을 예측하는 시험을 실시하여 가장 잠재력이 높다고 평가된 상위 1%를 선발했다고 가정해 보자. 이들에게 특별 강화 과정, 개인 지도, 상담, 컴퓨터 등을 제공하는 프로그램을 시행할 수 있다. 하지만 이 프로그램이 효과적이더라도, 1년 후 다시 시험을 보면 평균 점수는 처음보다 낮아질 수 있다. 이는 평균으로의 회귀 때문이다. 이러한 상황에서는 윤리적인 문제로 인해 필요한 지원을 받지 못하는 대조군을 설정하기 어려울 수 있다. 대안으로 축소 기법과 같은 수학적 방법을 사용하여 평균 회귀 효과를 보정할 수 있지만, 이는 대조군을 사용하는 방법만큼 신뢰성이 높지는 않다(스타인의 예제 참조).

평균으로의 회귀 효과는 실험 설계뿐만 아니라 일상적인 추론과 예측에서도 나타난다.

오늘 전국에서 가장 더웠던 지역은 내일 기온이 오늘보다 더 높을 가능성보다는 낮아질(평균에 가까워질) 가능성이 더 높다.
지난 3년간 가장 높은 수익률을 기록한 뮤추얼 펀드는 향후 3년간 상대적인 성과가 더 좋아질 가능성보다는 낮아질 가능성이 더 높다.
올해 가장 흥행에 성공한 영화배우는 다음 작품에서 이번 작품보다 더 많은 수익을 올릴 가능성보다는 적은 수익을 올릴 가능성이 더 높다.
야구 시즌 중반까지 가장 높은 타율을 기록한 선수는 시즌 후반에 타율이 더 높아질 가능성보다는 낮아질 가능성이 더 높다.

이처럼 평균으로의 회귀는 특정 분야에 국한되지 않는 보편적인 통계 현상으로, 생물학적 유전과 관련이 없는 경우에도 관찰된다.

4. 2. 흔한 오해

평균으로의 회귀 개념은 매우 쉽게 오용될 수 있다. 가장 흔한 오해는 이 통계적 현상을 인과관계로 착각하는 것이다. 예를 들어, 첫 시험에서 점수가 매우 낮았던 학생이 다음 시험에서 점수가 오르는 것은 평균으로의 회귀 때문일 수 있는데, 이를 특정 교육 방법이나 학생의 노력 변화만으로 설명하려는 오류를 범할 수 있다.

구체적인 오해 사례는 다음과 같다:

인과관계 착각: 평균으로의 회귀는 통계적인 경향일 뿐, 특정 사건의 직접적인 원인이 아니다. 첫 시험에서 최저점을 받은 학생의 점수가 다음 시험에서 반드시 오르는 것은 아니며, 평균적으로 점수가 향상되는 경향이 나타나는 이유는 첫 시험에서 운이 나빴을 가능성이 높기 때문이다.^[12] 점수가 무작위적 요소나 측정 오차의 영향을 받는 한, 이러한 현상은 나타날 수 있다.
교육 현장의 오해: 좋은 성과를 칭찬받은 학생의 다음 성적이 떨어지고, 부진한 성과로 꾸중을 들은 학생의 다음 성적이 오르는 것을 보고 칭찬이 효과 없고 처벌이 효과적이라고 잘못 판단하는 경우가 있다.^[12] 다니엘 카너먼은 비행 교관들이 이러한 오해를 하는 것을 관찰했다. 교관들은 칭찬 후 생도들의 실력이 나빠지고, 꾸중 후 실력이 좋아지는 것을 경험적으로 느꼈지만, 이는 칭찬과 꾸중의 효과라기보다는 평균으로의 회귀 때문일 가능성이 높다. 카너먼은 이를 "우리가 다른 사람들을 보상하는 것에 대해 통계적으로 처벌받고 다른 사람들을 처벌하는 것에 대해 보상받는 것은 인간의 조건의 일부"라고 설명했다.^[14]
극단값에 대한 오해: 극단적인 값을 기록한 개체가 다음 측정에서 평균값으로 '돌아간다'고 해서, 두 번째 측정값 자체가 첫 번째 측정값보다 반드시 평균에 더 가까워지는 것은 아니다. 예를 들어, 평균 80점을 기준으로 10% 회귀하는 경향이 있다면, 첫 시험 100점 학생의 다음 시험 기대 점수는 98점이고, 70점 학생의 기대 점수는 71점이다. 이 기대값들은 첫 점수보다 평균에 가깝지만, 실제 두 번째 점수들은 이 기대값 주변에 분포하며, 전체적인 점수 분포의 평균으로부터의 거리는 두 시험에서 비슷하게 유지될 수 있다.
정책 및 비즈니스 판단 오류:
1933년 통계학자 호레이스 세크리스트는 기업들의 이윤율이 시간이 지나면서 평균으로 수렴하는 경향을 보인다는 방대한 데이터를 제시하며 이를 '경영의 법칙'처럼 주장했지만, 실제로는 평균으로의 회귀 현상을 설명한 것에 불과했다. 그의 저서 ''The Triumph of Mediocrity in Business''에 대해 비평가 해럴드 호텔링은 이를 "곱셈표를 증명하기 위해 코끼리와 다른 동물들을 줄 세우는 것"에 비유하며 비판했다.^[13]
영국에서 속도 단속 카메라를 사고 다발 지역에 설치한 후 사고가 감소한 것을 정책 효과로 평가했지만, 통계학자들은 평균으로의 회귀 효과를 고려하지 않으면 실제 효과가 과장될 수 있다고 지적했다.^[15]^[16]^[17] 사고가 유난히 많았던 지역은 다음 해에 특별한 조치 없이도 사고 건수가 자연스럽게 줄어들 경향이 있기 때문이다.
스포츠계의 오해: 뛰어난 성적을 거둔 선수가 다음 시즌 부진한 성적을 보이는 '2년차 부진'이나, 유명 잡지 표지에 등장한 후 성적이 떨어지는 '스포츠 일러스트레이티드 표지의 저주' 등은 선수의 기량 변화나 '저주' 때문이 아니라 평균으로의 회귀로 설명될 수 있다.^[8] 반대로, 부진했던 선수가 다음 시즌 평균 수준으로 성적이 향상되는 경향 역시 평균으로의 회귀로 설명된다.^[18]

또한, 측정 사이에 실제 상황 변화가 있다면 평균으로의 회귀 효과는 증폭되거나 상쇄될 수도 있다. 예를 들어, 특정 점수(예: 70점)를 넘어야 하는 시험에서, 70점 미만 학생들은 동기 부여 저하로 다음 시험 성적이 더 낮아질 수 있고, 70점을 간신히 넘긴 학생들은 강한 동기 부여로 성적이 더 높아질 수 있다. 이 경우 평균에서 더 멀어지는 움직임이 나타날 수도 있다.

이처럼 평균으로의 회귀를 제대로 이해하지 못하면 회귀 오류^[27]를 범하기 쉽다. 이는 데이터를 잘못 해석하여 실제로는 존재하지 않는 인과관계를 주장하거나, 특정 조치의 효과를 잘못 평가하는 결과로 이어질 수 있다.

4. 3. 회귀 오류

평균으로의 회귀를 고려하지 않고 현상의 원인을 잘못 해석하는 경향을 회귀 오류(Regression fallacy) 또는 회귀 효과의 오류(Regressive fallacy)라고 한다.^[27] 이는 데이터를 수집하고 해석할 때 평균으로의 회귀 현상을 인지하지 못하여, 실제로는 무관하거나 효과가 없는데도 개선이나 악화가 나타난 것처럼 잘못된 인과관계 결론을 내리는 것을 말한다.

대표적인 예로 통계학자 호레이스 세크리스트(Horace Secrist)가 1933년에 출간한 저서 The Triumph of Mediocrity in Business^영어(비즈니스에서의 평범함의 승리)가 있다.^[13] 세크리스트는 이 책에서 경쟁하는 기업들의 이윤율이 시간이 지남에 따라 평균치로 수렴하는 경향이 있다는 것을 증명하기 위해 방대한 데이터를 수집했다. 그러나 실제로는 이윤율의 변동성은 시간에 따라 크게 변하지 않으며, 세크리스트가 발견한 것은 단순히 평균으로의 회귀 현상에 불과했다. 당시 통계학자 해롤드 호텔링(Harold Hotelling)은 이 연구를 "코끼리들을 줄 세우고, 다른 여러 종류의 동물들에 대해서도 같은 작업을 함으로써 곱셈표를 증명하려는 것과 같다"고 비판했다.^[13]

교육 분야에서도 회귀 오류가 나타날 수 있다. 예를 들어, 미국 매사추세츠주의 표준화된 교육 테스트에서 1999년 각 학교에 향상 목표가 주어졌고, 1999년과 2000년 사이의 평균 점수 차이를 비교했다. 그 결과, 성적이 가장 저조했던 학교 대부분이 목표를 달성한 반면, 우수한 학교 중 상당수는 목표 달성에 실패했다. 교육 당국은 이를 정책의 성공으로 해석했지만, 이는 단순히 성적이 낮았던 학교들이 평균으로 회귀하여 점수가 자연스럽게 상승했을 가능성을 간과한 회귀 오류일 수 있다.

2002년 노벨 경제학상 수상자인 심리학자 다니엘 카너먼(Daniel Kahneman)은 칭찬과 꾸중의 효과에 대한 잘못된 인식이 회귀 오류 때문에 발생할 수 있다고 지적했다.^[14] 그는 이스라엘 공군 비행 교관들에게 칭찬이 처벌보다 학습에 효과적이라고 설명했을 때, 한 베테랑 교관이 반론을 제기했던 경험을 소개했다. 그 교관은 생도들이 뛰어난 비행을 했을 때 칭찬하면 다음번에는 보통 더 못했고, 형편없는 비행을 했을 때 꾸짖으면 다음번에는 보통 더 잘했기 때문에 처벌이 칭찬보다 효과적이라고 주장했다. 카너먼은 이것이 평균으로의 회귀 때문임을 깨달았다. 즉, 비정상적으로 좋은 성과 다음에는 평균에 가까운 (상대적으로 나쁜) 성과가 나올 가능성이 높고, 비정상적으로 나쁜 성과 다음에는 평균에 가까운 (상대적으로 좋은) 성과가 나올 가능성이 높기 때문에, 칭찬은 효과가 없는 것처럼 보이고 꾸중은 효과가 있는 것처럼 보인다는 것이다. 이는 인간이 자연스러운 통계적 변동을 인과관계로 착각하기 쉽다는 점을 보여준다.^[14]

영국의 교통 정책에서도 유사한 사례를 찾을 수 있다. 사고 다발 지역에 속도 단속 카메라를 설치한 후 도로 교통 사고가 감소하는 경향이 나타나자, 이를 카메라 설치의 효과로 정당화했다. 그러나 통계학자들은 사고 감소 효과 자체는 인정하면서도, 사고율이 비정상적으로 높았던 시기 이후에는 자연스럽게 평균 수준으로 돌아가는 경향(평균으로의 회귀)이 있기 때문에 카메라의 순수한 효과는 과장되었을 수 있다고 지적한다.^[15]^[16]^[17]

스포츠계에서도 회귀 오류는 흔히 발견된다. 뛰어난 신인 시즌을 보낸 선수가 다음 해에 성적이 떨어지는 현상을 "2년차 부진"이라고 부르는데, 이는 부분적으로 첫 해의 뛰어난 성과에 포함된 행운이나 이례적인 요소가 사라지고 평균적인 실력으로 회귀하기 때문이다.^[8] 마찬가지로, 뛰어난 활약으로 잡지 표지를 장식한 선수의 성적이 이후 하락하는 것처럼 보이는 "'''스포츠 일러스트레이티드''' 표지의 저주"^[8]나 "매든 저주" 역시 평균으로의 회귀로 설명될 수 있다. 반대로, 이전 시즌에 부진했던 선수가 다음 시즌에 성적이 향상되는 경향 역시 평균으로의 회귀 현상이다. 예를 들어, 메이저리그 야구에서 이전 해 타율이 리그 평균보다 낮았던 선수는 다음 해 평균에 가깝게 타율이 상승하는 경향을 보인다.^[18]

어떤 약물의 효과를 검증하는 실험에서도 회귀 오류가 발생할 수 있다. 예를 들어, 시험 성적이 최하위 10%인 학생들에게 약물을 투여하고 다시 시험을 보게 했을 때 평균 성적이 눈에 띄게 향상되었다고 하자. 이것만으로는 약물의 효과를 입증할 수 없다. 성적이 매우 낮았던 학생들은 다음 시험에서 자연스럽게 평균 점수에 가깝게 향상될 가능성이 높기 때문이다. 약물을 투여하지 않은 대조군과 비교해야만 약물의 실제 효과를 판단할 수 있다.

5. 수학적 설명

평균으로의 회귀 현상은 수학적으로 여러 방식으로 설명될 수 있다. 주로 통계학적 개념인 상관관계와 회귀 분석을 통해 이해할 수 있다.

한 가지 접근법은 주어진 데이터 점들에 대한 단순 선형 회귀 분석을 이용하는 것이다. 이 방법은 두 변수 간의 상관 계수가 완벽하지 않을 때(즉, 절댓값이 1보다 작을 때), 특정 값에서 예측된 다른 변수의 값이 원래 값보다 전체 평균에 더 가까워지는 경향을 수학적으로 설명한다.^[9] 이는 최소제곱법을 사용하여 회귀선을 구하고, 표준화된 변수 간의 관계를 통해 설명된다.

다른 접근법에서는 동일한 주변 분포를 갖는 두 확률 변수의 결합 분포를 분석한다. 이 관점에서는 한 변수의 특정 값이 주어졌을 때, 다른 변수의 조건부 기댓값이 원래 값보다 두 변수의 공통 평균에 더 가깝게 되는 조건을 통해 평균으로의 회귀를 정의한다.^[20]^[21] 정규분포와 같은 특정 확률 분포의 경우, 두 변수 간의 상관 계수가 작을수록 이러한 회귀 효과가 더 뚜렷하게 나타난다.

두 접근법 모두 변수 간의 상관관계가 완벽하지 않거나 낮을수록 평균으로의 회귀 효과가 더 강하게 나타난다는 점을 시사한다. 이는 프랜시스 갈턴 경이 처음 이 현상을 발견했을 때 관찰한 내용과 일치하며, 통계적 예측에서 극단적인 값이 반복될 가능성이 낮다는 것을 수학적으로 뒷받침한다.

5. 1. 데이터 점의 단순 선형 회귀

프랜시스 갈턴 경이 처음 사용한 의미에 가까운 평균으로의 회귀 정의는 다음과 같다.^[9]

''n''개의 데이터 점 {''y''_''i'', ''x''_''i''} (''i'' = 1, 2, ..., ''n'')이 주어졌다고 가정하자. 이 점들에 가장 잘 맞는 '''회귀선''', 즉 직선

y = \alpha + \beta x

의 방정식을 찾고자 한다. 여기서 '가장 잘 맞는다'는 것은 최소제곱의 의미를 따른다. 즉, 각 데이터 점에서 직선까지의 수직 거리의 제곱합(제곱 잔차의 합)을 최소화하는 선을 찾는 것이다. 다시 말해, 다음 값 ''Q''를 최소화하는 상수 ''α''와 ''β''를 찾아야 한다.

Q(\alpha,\beta) = \sum_{i=1}^n\hat{\varepsilon}_i^{\,2} = \sum_{i=1}^n (y_i - \alpha - \beta x_i)^2\

미적분학을 사용하여 이 최소화 문제를 풀면, ''α''와 ''β''의 최적값(

\hat\alpha

,

\hat\beta

)은 다음과 같이 주어진다.

\begin{align}& \hat\beta = \frac{ \sum_{i=1}^{n} (x_{i}-\bar{x})(y_{i}-\bar{y}) }{ \sum_{i=1}^{n} (x_{i}-\bar{x})^2 } = \frac{ \overline{xy} - \bar{x}\bar{y} }{ \overline{x^2} - \bar{x}^2 } = \frac{ \operatorname{Cov}[x,y] }{ \operatorname{Var}[x] } = r_{xy} \frac{s_y}{s_x}, \\& \hat\alpha = \bar{y} - \hat\beta\,\bar{x},\end{align}

여기서 ''r_xy''는 ''x''와 ''y'' 사이의 표본 상관 계수이고, ''s_x''는 ''x''의 표준 편차, ''s_y''는 ''y''의 표준 편차이다. 변수 위에 그어진 가로 막대(

\bar{x}

,

\bar{y}

)는 해당 변수의 표본 평균을 나타낸다. 예를 들어,

\overline{xy} = \tfrac{1}{n}\textstyle\sum_{i=1}^n x_iy_i

이다.

이렇게 구한

\hat\alpha

와

\hat\beta

를 회귀선 방정식에 대입하면, 주어진 ''x'' 값에 대한 ''y''의 적합값(예측값)

\hat y = \hat\alpha + \hat\beta x

를 얻을 수 있다. 이 식을 정리하면 다음과 같은 형태로 표현할 수 있다.

\frac{ \hat y-\bar{y}}{s_y} = r_{xy} \frac{ x-\bar{x}}{s_x}

이 식은 표준화된 변수들 사이의 관계를 보여준다. 즉, ''x''가 평균

\bar{x}

로부터 얼마나 떨어져 있는지를 표준 편차 ''s_x''로 측정한 값(

\frac{ x-\bar{x}}{s_x}

)과, 예측된 ''y'' 값(

\hat y

)이 평균

\bar{y}

로부터 얼마나 떨어져 있는지를 표준 편차 ''s_y''로 측정한 값(

\frac{ \hat y-\bar{y}}{s_y}

) 사이의 관계를 나타낸다.

이때, 만약 상관 계수 ''r_xy''의 절댓값이 1보다 작다면(−1 < ''r''_''xy'' < 1), 데이터 점들은 평균으로의 회귀를 나타낸다고 말한다. 즉, 선형 회귀가 데이터에 적합한 모델이고 두 변수 간의 상관관계가 완벽하지 않다면(|''r''_''xy''| ≠ 1), 평균으로의 회귀 현상이 나타난다. 이는 예측된 ''y''의 표준화된 값(

\frac{ \hat y-\bar{y}}{s_y}

)이 ''x''의 표준화된 값(

\frac{ x-\bar{x}}{s_x}

)보다 그 평균(0)에 더 가깝다는 것을 의미한다. 예를 들어, ''x''가 평균보다 1 표준 편차만큼 크다면(

\frac{ x-\bar{x}}{s_x} = 1

), 예측된 ''y''는 평균보다 ''r_xy'' 표준 편차만큼만 클 것으로 예상된다(

\frac{ \hat y-\bar{y}}{s_y} = r_{xy}

). |''r_xy''| < 1이므로, 예측값은 원래 값보다 평균에 더 가깝게 된다.

예를 들어, X와 Y를 모두 표준정규분포(평균은 0, 분산은 1)를 따르는 확률변수라 하고, 이들의 상관계수를 r이라 하자 (|r| ≤ 1). 정규분포의 성질에 따라, X의 값이 주어졌을 때 Y의 조건부 기댓값은 E[Y|X] = rX이다. |r| < 1이라면, Y의 기댓값은 X의 관측값보다 평균인 0에 더 가깝다. 이는 두 변수 사이의 상관이 약할수록(즉, |r|이 작을수록) 평균으로의 회귀 현상이 더 뚜렷하게 나타난다는 것을 보여준다. 현재 회귀분석이나 선형 회귀 등의 용어는 변수 간의 관계를 분석하는 방법으로 쓰이지만, 원래 갈턴이 사용했던 "회귀"라는 용어는 오히려 두 변수 간의 상관관계가 완벽하지 않음(낮음)을 함의하는 개념이었다.

5. 2. 동일 주변 분포를 갖는 이변량 분포

''X''₁, ''X''₂를 평균이 ''μ''인 동일한 주변 분포를 갖는 확률 변수라 하자. 이 공식화에서 ''X''₁과 ''X''₂의 이변량 분포는 모든 수 ''c'' > ''μ''에 대해 다음이 성립하는 경우 '''평균으로의 회귀'''를 나타낸다.

:''μ'' ≤ E(''X''₂ | ''X''₁ = ''c'') < ''c''

''c'' < ''μ''인 경우에는 역부등식이 성립한다.^[20]^[21]

위 정의를 비공식적으로 설명하면 다음과 같다. 어떤 부품 집단을 생각해보자. 각 부품에는 ''X''₁과 ''X''₂라는 두 개의 측정값(예: 왼쪽 길이(''X''₁)와 오른쪽 길이(''X''₂))이 있다. 집단에서 ''X''₁과 ''X''₂의 확률 분포는 동일하고, 두 측정값의 평균은 모두 ''μ''라고 가정한다. 이제 집단에서 임의의 부품을 선택하고, 그 부품의 ''X''₁ 값을 ''c''라고 하자. 이 부품의 ''X''₂ 값의 기댓값(즉, ''X''₁ = ''c''인 모든 부품의 ''X''₂의 평균값)을 ''d''라고 할 때, 다음 조건이 참이면 '''평균으로의 회귀'''가 나타난다고 한다.

: ''c''의 값에 관계없이, ''d''는 ''μ''와 ''c'' 사이에 있다(즉, ''d''는 ''c''보다 ''μ''에 더 가깝다).

이 정의는 갈톤(Galton)의 원래 용례에서 발전한 "평균으로의 회귀"라는 용어의 현재 일반적인 쓰임새와 매우 일치한다. 그러나 이 정의는 동일한 주변 분포를 갖는 모든 이변량 분포가 반드시 평균으로의 회귀를 나타내는 것은 아니라는 점에서 "제한적"이다.^[21]

예를 들어, X와 Y를 모두 표준정규분포(평균은 0, 분산은 1)를 따르는 확률변수라 하고, 이들의 상관계수를 r이라 하자. (|r| ≤ 1) 정규분포의 성질에 따라, X의 값이 주어졌을 때 Y의 조건부 기댓값은 X에 비례한다. 즉, E[Y|X] = rX이다. 만약 |r| < 1이라면, Y의 기댓값은 X의 관측값보다 평균인 0에 더 가깝다. 이는 일반적인 확률분포에 대해서도 유사하게 나타날 수 있다.

이것은 두 변수의 상관이 작아질수록 (|r|이 작아질수록) 평균으로의 회귀 현상이 더 뚜렷해진다는 것을 보여준다. 즉, 현재 회귀분석이나 선형 회귀 등의 용어는 변수 간의 관계를 분석하는 방법으로 사용되지만, 원래 의미에서의 "회귀"는 오히려 "상관이 낮다"는 것을 의미하는 측면이 있다.

6. 한국 사회에의 적용

(내용 없음)

참조

_[1] 간행물 The Possible Improvement Of The Human Breed Under The Existing Conditions Of Law And Sentiment https://archive.org/[...] 1901-1902
_[2] 서적 The Cambridge Dictionary of Statistics Cambridge University Press 2002-08-12
_[3] 서적 Oxford Dictionary of Statistics Oxford University Press 2008-08-21
_[4] 논문 Regression toward the mean, historically considered https://journals.sag[...] 1997
_[5] 논문 Assessing the Relationship between the Baseline Value of a Continuous Variable and Subsequent Change Over Time. 2013
_[6] 뉴스 A statistical review of 'Thinking, Fast and Slow' by Daniel Kahneman https://www.burns-st[...] 2013-11-11
_[7] 웹사이트 What is regression to the mean? Definition and examples. https://conceptually[...] 2017-10-25
_[8] 서적 Bad Science Fourth Estate 2009-04-04
_[9] 논문 Regression towards mediocrity in hereditary stature https://zenodo.org/r[...] 1886
_[10] 서적 Natural Inheritance https://archive.org/[...] Macmillan
_[11] 논문 Darwin, Galton and the Statistical Enlightenment 2010-06-17
_[12] 서적 Thinking Fast and Slow Farrar, Straus and Giroux 2011-10-01
_[13] 논문 Open Letters https://www.jstor.or[...] 1934-06
_[14] 논문 Quotation: Kahneman on Contingencies 2012
_[15] 뉴스 Speed camera benefits overrated https://www.thetimes[...] 2005-12-16
_[16] 논문 Safety cameras: Stealth tax or life-savers? 2006
_[17] 논문 The sensitivity of estimates of regression to the mean 2009
_[18] 웹사이트 Randomness: Catch the Fever! https://www.baseball[...] 2003-05-14
_[19] 논문 The law of regression to the tail: How to survive Covid-19, the climate crisis, and other disasters 2020-10-05
_[20] 논문 Statistical Reversion Toward the Mean: More Universal than Regression Toward the Mean 1991-11
_[21] 논문 Surprising Inferences from unsurprising Observations: Do Conditional Expectations really regress to the Mean? https://www.jstor.or[...] 1989-08
_[22] 서적 Introductory Biostatistics for the Health Sciences https://books.google[...] Wiley-Interscience 2003-03-17
_[23] 서적 Stocks for the Long Run McGraw–Hill 2007-11-27
_[24] 용어 coefficient of reversion
_[25] 용어 coefficient of regression
_[26] 용어 co-relation
_[27] 용어 regression fallacies

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com